『Data Uploader』で実践！複数のジョブをまとめて実行 #データ統合基盤 #CSアナリティクス
当エントリは『クラスメソッド CSアナリティクス Advent Calendar 2020』16日目のエントリです。
- クラスメソッド CSアナリティクス Advent Calendar 2020 - Qiita
- クラスメソッド CSアナリティクス Advent Calendar 2020 ｜ 特集カテゴリー ｜ Developers.IO
- ビッグデータ分析支援のカスタマーストーリーアナリティクス｜クラスメソッド｜クラスメソッドのサービス
当エントリでは、クラスメソッドが展開しているデータ統合基盤サービス『CSアナリティクス』(以降"CSA")のプロダクト群を用いて『Data Uploaderで既存作成済みのジョブ群を親ジョブとして動かす』一連の流れを作り上げる流れについて説明します。
目次
「ジョブ実行ジョブ」とは
CSA Data Uploaderでは、作成出来る「ジョブの定義」に幾つかパターンが存在します。当エントリで紹介するのはその中の「ジョブ実行」というジョブです。
このジョブでは、予め作成してあるCSA Data Uploaderのジョブ(＝子ジョブ)を「親ジョブ」として実行するためのジョブタイプとなります。
CSA Data Uploader 「ジョブ実行ジョブ」実践
「ジョブ実行ジョブ」を実践していくために、当エントリでは過去のエントリでこしらえたジョブをそれぞれ活用する形を取りたいと思います。
その前にまずはジョブの枠を用意します。CSA Data Uploaderのジョブ一覧画面にて[ジョブを作成]を押下、ジョブ種別に「ジョブ実行」を指定して任意の名前でジョブを作成します。
ジョブの枠が出来ました。画面下半分の領域では、どのようにジョブを実行していくかを編集することが出来るようになっています。[実行ジョブ編集]を押下。
すると以下のような形で別ウインドウが起動し、既存作成済みのジョブを「実行対象ジョブ」として選択出来るようになります。ここで選択可能なジョブは以下の3種類です。追加したいジョブの[＋]印を選択することで、選択したジョブが[実行対象ジョブ]の中に組み込まれるようになります。
- データアップロードジョブ：
- ファイルアップロードジョブ：
- プログラム実行ジョブ：
ここではそれぞれのジョブ種別毎に1つピックアップして定義してみました。[保存]を押下。
ジョブ編成定義が完了しました。現行仕様では、任意のジョブをシーケンシャルに実行する事が可能となっています。上から順番にジョブが実行されるイメージですね。また、エラー終了条件を「子ジョブ実行時にエラーが発生したら止める」「エラーが発生しても最後まで実行する」のいずれかから選択可能です。ここでは[保存して実行]を押下して早速実行してみたいと思います。
実行種別・通知有無を選択の上、[実行]押下。
ジョブ実行が開始されます。このジョブを実行した場合、実行履歴に載る順番としては親ジョブ→子ジョブ(実行順序順)という流れになります。下記キャプチャは親ジョブが走る→子ジョブ1個目(成功)→子ジョブ2個目(実行中)の状況を撮ったものとなります。
「ジョブ実行ジョブ」で一連のジョブが全て完了しました。このあたり「全て実行するか否か(エラーがあったら止まるかどうか)」はジョブ詳細での設定による形となります。
まとめ
という訳で、『クラスメソッド CSアナリティクス Advent Calendar 2020』16本目のエントリ、CSA Data Uploaderで『Data Uploaderで既存作成済みのジョブ群を親ジョブとして動かす』手順の紹介でした。
CSA Data Uploaderは1ヶ月間のトライアル利用が可能となっています。興味をお持ち頂いた方は是非無料版ダウンロードページからインストーラを入手頂き、お試し頂けますと幸いです。
では、明日(17日目)のエントリもお楽しみに！
